UniSpace: Unified Visual Representation and Scalable Multimodal Modeling
UniSpace：统一视觉表示与可扩展多模态建模
🧭 统一视觉表示 · 多模态生成编辑
Meituan
提出 Patch Reparameterization，使冻结语义 ViT 同时支持理解、生成与编辑，并扩展为 8B MoE 统一模型
📌 工作参考价值（4 点）
- 可借鉴 Patch Reparameterization：在预训练语义 ViT 上增加 reconstruction-aware patch embedding，冻结主体 Transformer，低成本复用语义表征的同时保留像素细节；适合电商商品图重建、编辑和增强场景。
- 单一视觉空间同时支持理解、生成、编辑，省去独立 VAE 通路，能降低多模态模型复杂度和部署成本；在商品图像生成、广告素材编辑、多模态商品理解等任务中可探索统一 encoder。
- 8B Mixture-of-Transformer-Experts 的扩展思路可复用到多任务电商多模态模型：按任务或模态路由专家，在统一表征上做商品理解、文案配图、图片编辑。
- 评测基准 ImgEdit/DPG/OneIG-Bench 提供指令式图像编辑的系统级评估模板，可改造为电商场景的商品图编辑/文案生图评测；但对推荐、召回、排序的直接帮助有限。